Einführung und Motivation

Pluspunkte von R

• Als Weg kreativ zu sein …
• Graphiken, Graphiken, Graphiken
• In Kombination mit anderen Programmen nutzbar
• Zur Verbindung von Datenstrukturen
• Zum Automatisieren
• Um die Intelligenz anderer Leute zu nutzen ;-)
• …

Gründe

• R ist frei verfügbar. Es kann umsonst runtergeladen werden.
• R ist eine Skriptsprache
• Gute Möglichkeiten für die Visualisierung (Link )
• R wird immer populärer
• Popularität von R

Warum R?

Modularer Aufbau

Nachteile von R

1. Daten werden oft anderswo erfasst
2. Nicht jeder ist bereit mit R zu arbeiten
3. Nicht auf jedem Rechner ist R installiert
4. R ist manchmal zu langsam
5. Schwierigkeiten bei der Arbeit mit großen Datenmengen

Was folgt daraus

1. Schnittstelle zu SPSS/Stata/Excel zum Import von Daten
2. Schnittstelle zu Word
3. Möglichkeit HTML Präsentationen zu erzeugen
4. Nutzung von C++
5. Nutzung von Datenbanken

Die Nutzung von Schnittstellen beim Import/Export

• Interaktion mit Excel, SPSS, Stata, …

Import

Reproducible Research

Was wird bei Wikipedia unter Reproducability verstanden?

Darstellung von Ergebnissen

• Mit der Schnittstelle zu Javascript lassen sich interaktive Graphiken erzeugen
• Diese kann man auf Websites, in Präsentationen oder in Dashboards verwenden

Warum die Schnittstelle zu C++?

• Wenn Schnelligkeit wichtig ist, bietet sich C++ an
• Dies ist kann bspw. der Fall sein, wenn sich Schleifen nicht vermeiden lassen
• Man wird bei der Programmierung durch RStudio unterstützt
• Es gibt eine Rcpp Galerie, wo man sich Anregungen holen kann

Die Nutzung von Datenbanken

• Wenn große Datenmengen anfallen, kann die zusätzliche Nutzung von Datenbanken sinnvoll sein
• In R bestehen Schnittstellen sowohl zu relationalen als auch nicht relationalen Datenbanken

Nutzung der Unterlagen auf GitHub

Wie wird das Github Verzeichnis genutzt?

• Die folgende Seite ist die Startseite für den Kurs:

https://github.com/Japhilko/RInterfaces

• Es lohnt sich immer wieder zu dieser Seite zurückzukehren, weil hier alle relevanten Dokumente verlinkt sind.

• Grundsätzlich kann man der Veranstalung am Besten mit dem kompletten File folgen. Wenn Teile heruntergeladen werden sollen, bietet es sich an, das entsprechende pdf herunterzuladen.

Informationen ausdrucken

• Zum Ausdrucken eignen sich die pdf-Dateien besser.

• Diese können mit dem Raw Button heruntergeladen werden.

Raw Button zum Download

Weitere Dateien herunterladen

• Begleitend zu den Folien wird meistens auch ein R-File angeboten.

• Hier können Sie entweder das gesamte R-File herunterladen und in R ausführen oder einzelne Befehle per Copy/Paste übernehmen.

• Vereinzelt sind auch Datensätze vorhanden.

• .csv Dateien können direkt von R eingelesen werden (wie das geht werde ich noch zeigen).

• Wenn die .csv Dateien heruntergeladen werden sollen auch den Raw Button verwenden.

• Alle anderen Dateien (bspw. .RData) auch mittels Raw Button herunterladen.

Organisatorisches

• Zusätzlich gibt es für jedes Kapitel eine Aufgabe, da man nur durch eigenes Trainieren auf der Lernkurve vorankommt.
• Die Quellen sind als Link meist in der Überschrift hinterlegt.
• Die Links sind nur im HTML Dokument zu sehen aber auch in der pdf vorhanden.

Links und Quellen

Wen Github näher interessiert:

• Hello World

• Understanding the GitHub flow

CRAN Task Views

Aufgabe - Zusatzpakete

Gehen Sie auf https://cran.r-project.org/ und suchen Sie in dem Bereich, wo die Pakete vorgestellt werden, nach Paketen,…

• für Reproducible Research
• für interaktive Darstellungen
• für High-Performance Computing
• um mit großen Datenmengen umzugehen

Datenimport

Dateiformate in R

• Von R werden quelloffene, nicht-proprietäre Formate bevorzugt
• Es können aber auch Formate von anderen Statistik Software Paketen eingelesen werden
• R-user speichern Objekte gerne in sog. Workspaces ab
• Auch hier jedoch gilt: (fast) alles andere ist möglich

Formate - base package

R unterstützt von Haus aus schon einige wichtige Formate:

• CSV (Comma Separated Values): read.csv()
• FWF (Fixed With Format): read.fwf()
• Tab-getrennte Werte: read.delim()

Datenimport leicht gemacht mit Rstudio

Import Button

CSV aus dem Web einladen

• Datensatz:

https://data.montgomerycountymd.gov/api/views/6rqk-pdub/rows.csv?accessType=DOWNLOAD

• Datenimport mit Rstudio

Der Arbeitsspeicher

So findet man heraus, in welchem Verzeichnis man sich gerade befindet

getwd()

So kann man das Arbeitsverzeichnis ändern:

Man erzeugt ein Objekt in dem man den Pfad abspeichert:

main.path <- "C:/" # Beispiel für Windows
main.path <- "/users/Name/" # Beispiel für Mac
main.path <- "/home/user/" # Beispiel für Linux

Und ändert dann den Pfad mit setwd()

setwd(main.path)

Bei Windows ist es wichtig Slashs anstelle von Backslashs zu verwenden.

Alternative - Arbeitsspeicher

Das Paket readr

install.packages("readr")

library(readr)

• readr auf dem Rstudio Blogg

Import von Excel-Daten

• library(readr) ist für den Import von fremden Datenformaten hilfreich
• Wenn Excel-Daten vorliegen - als .csv abspeichern
• Diese lassen sich auch ohne das Paket foreign einlesen.

library(readr)
rows <- read_csv("https://data.montgomerycountymd.gov/api/views/6rqk-pdub/rows.csv?accessType=DOWNLOAD")

.csv-Daten aus dem Web importieren - zweites Beispiel

url <- "https://raw.githubusercontent.com/Japhilko/
GeoData/master/2015/data/whcSites.csv"

whcSites <- read.csv(url) 

head(data.frame(whcSites$name_en,whcSites$category))

##                                                      whcSites.name_en
## 1 Cultural Landscape and Archaeological Remains of the Bamiyan Valley
## 2                           Minaret and Archaeological Remains of Jam
## 3                          Historic Centres of Berat and Gjirokastra 
## 4                                                             Butrint
## 5                                             Al Qal'a of Beni Hammad
## 6                                                        M'Zab Valley
##   whcSites.category
## 1          Cultural
## 2          Cultural
## 3          Cultural
## 4          Cultural
## 5          Cultural
## 6          Cultural

Das Paket haven

install.packages("haven")

library(haven)

• Das R-Paket haven auf dem Rstudio Blogg

SPSS Dateien einlesen

• Zunächst muss wieder der Pfad zum Arbeitsverzeichnis angeben werden.
• SPSS-Dateien können auch direkt aus dem Internet geladen werden:

install.packages("haven")

library(haven)
mtcars <- read_sav("https://github.com/Japhilko/RInterfaces/raw/master/data/mtcars.sav")

stata Dateien einlesen

library(haven)
oecd <- read_dta("https://github.com/Japhilko/IntroR/raw/master/2017/data/oecd.dta")

Links

• Quick-R - Import Data

• Datenimport bei R-bloggers

• Importing Data into R

• Mapping von Arbeitslosendaten in den USA

• Das Paket readr

Datenexport

Die Exportformate von R

• In R werden offene Dateiformate bevorzugt
• Genauso wie read.X() Funktionen stehen viele write.X() Funktionen zur Verfügung
• Das eigene Format von R sind sog. Workspaces (.RData)

Beispieldatensatz erzeugen

A <- c(1,2,3,4)
B <- c("A","B","C","D")

mydata <- data.frame(A,B)

Überblick Daten Import/Export

• wenn mit R weitergearbeitet wird, eignet sich das .RData Format am Besten:

save(mydata, file="mydata.RData")

Daten in .csv Format abspeichern

write.csv(mydata,file="mydata.csv") 

• Wenn mit Deutschem Excel weitergearbeitet werden soll, eignet sich write.csv2 besser

write.csv2(mydata,file="mydata.csv") 

• Sonst sieht das Ergebnis so aus:

Das Paket xlsx

library(xlsx)
write.xlsx(mydata,file="mydata.xlsx") 

Das Paket foreign

• Funktionen im Paket foreign

Daten in stata Format abspeichern

library(foreign)
write.dta(mydata,file="data/mydata.dta") 

Das Paket rio

install.packages("rio")

Daten als .sav abspeichern (SPSS)

library("rio")
# create file to convert

export(mtcars, "data/mtcars.sav")

Dateiformate konvertieren

export(mtcars, "data/mtcars.dta")

# convert Stata to SPSS
convert("data/mtcars.dta", "data/mtcars.sav")

Links Export

• Quick R für das Exportieren von Daten:

• Hilfe zum Export auf dem cran Server

• Daten aus R heraus bekommen

R und Excel

Das Paket xlsx

• Eine wichtige Datenquelle - Eurostat

library("xlsx")
dat <- read.xlsx("cult_emp_sex.xls",1)

Einige Schritte um R und Excel zu verbinden

• Die Excel-Verbindung

install.packages("XLConnect")

library("XLConnect")

Vignette für XLconnect

Eine Excel Datei aus R erzeugen

fileXls <- "data/newFile.xlsx"
unlink(fileXls, recursive = FALSE, force = FALSE)
exc <- loadWorkbook(fileXls, create = TRUE)
createSheet(exc,'Input')
saveWorkbook(exc)

Das Arbeitsblatt mit Daten befüllen

input <- data.frame('inputType'=c('Day','Month'),'inputValue'=c(2,5))
writeWorksheet(exc, input, sheet = "input", startRow = 1, startCol = 2)
saveWorkbook(exc)

BERT - Eine weitere Verbindung zwischen R und Excel

• Schnellstart mit Excel

myFunction <- function(){
 aa <- rnorm(200)
 bb <- rnorm(200)
 res <- lm(aa~bb)$res
 return(res)
}

Link BERT

• BERT: a newcomer in the R Excel connection

Das Paket readxl

• readxl

install.packages("readxl")

library(readxl)

Präsentation von Daten - Reproducible Research

CRAN Taskview zu reproducible research

• Ein Online Buch mit vielen nützlichen Tipps ## Reproducible Research with R and RStudio

A crash course in reproducible research in R

Word Dokumente mit R erstellen

Ein Markdown Dokument mit Rstudio erzeugen

Mein erstes mit R erzeugtes Word Dokument

Erstes Beispiel

Das Arbeiten mit Markdown

Rmarkdown - erste Schritte

Markdown ist eine sehr einfache Syntax, die es Benutzern erlaubt, aus einfachen Textdateien gut gelayoutete Dokumente zu erstellen.

**fettes Beispiel**
*kursives Beispiel*
~~durchgestrichen~~
- Aufzählungspunkt

fettes Beispiel

kursives Beispiel

durchgestrichen

• Aufzählungspunkt

Weitere Markdown Befehle

### Überschrift Ebene 3
#### Überschrift Ebene 4
[Meine Github Seite](https://github.com/Japhilko)

Überschrift Ebene 3

Überschrift Ebene 4

Meine Github Seite

Weitere Markdown Befehle

• So kann man Bilder einbinden:
• Man kann entweder einen Link angeben:

![BSP](http://e-scientifics.de/content/example_kinderbild.jpg)

• oder einen (Unterordner) in dem das Bild liegt:

![BSP 2](figure/example.png)

• in den eckigen Klammern steht die Bildunterschrift
• alle gängigen Formate (.png, .jpeg,.gif) können so eingebunden werden
• Man kann auch noch weitere Optionen spezifizieren (Größe, Breite etc.) - dazu später mehr

Chunks - Erste Schritte

• Es lassen sich so genannte Chunks einfügen
• In diesen Chunks wird ganz normaler R-code geschrieben

Button um Chunks einzufügen

• Die default Version eines Chunks ist R
• Man hat aber auch die Möglichkeit andere Programmiersprachen einzubinden

Inline Code

n=100

Ein inline Codeblock: 100

Chunk Optionen

• Man kann den Chunks Optionen mitgeben:

• Bei eval kann ein logischer Wert angegeben werden oder eine/mehrere Nummer(n)

Optionen

Optionen für Word Output

Code Hervorhebung

• pygments Hervorhebung

• tango

Das Paket knitr

install.packages("knitr")

library("knitr")

• Das Paket knitr enthält zahlreiche wichtige Funktionen
• Beispiel: Befehl kable um Tabellen zu erzeugen

Eine Tabelle mit kable erzeugen

a <- runif(10)
b <- rnorm(10)
ab <- cbind(a,b)
kable(ab)

Vorlagen verwenden

• Formatvorlagen können verändert werden

1. Ein Word Dokument mit Rmarkdown erstellen
2. Das Dokument in Word öffnen und Format verändern
3. Vorlage als Referenz angeben

Immer das aktuelle Datum im Kopf

date: "06 Mai, 2017"

Resourcen

• Interview - Ein Word Dokument mit wenig Aufwand schreiben

• pander: Ein R Pandoc Wrapper

• Ein Schummelzettel

• Einführung in Markdown

• Warum TeX besser als Word ist

PDF Dokumente und Präsentationen mit LaTeX, Beamer und Sweave

Präsentationen mit Rmarkdown - beamer Präsentationen

Beamer Optionen

Beamer Themen

Chunks einfügen

• Auch hier lassen sich natürlich Chunks einfügen
• Wenn cache=T angegeben ist, wird das Ergebnis des Chunks abgespeichert
• Es ist sinnvoll die Chunks zu benennen, dann findet man auch das Ergebnis einfacher

Ergebnis - Cache

Wie man das im Header des Dokuments angibt

---
title: "Intro - Erste Schritte"
author: "Jan-Philipp Kolb"
date: "10 April 2017"
output:
  beamer_presentation: 
    colortheme: beaver
    theme: CambridgeUS
---

Inhaltsverzeichnis I

Inhaltsverzeichnis II

output: 
  beamer_presentation: 
    toc: yes

Optionen für die Graphikeinbindung

• fig_caption: false, wenn man keine Bildunterschriften haben möchte

Präsentationen mit Sweave

• Das Dokument erstellen

Sweave Präsentation

• Ganz normaler LaTeX Code wird verwendet

Chunks bei Sweave

• Auch hier kann R-code verwendet werden

Chunk Optionen

• Auch bei Sweave Chunks können Optionen mitgegeben werden

Inline Code

• Manchmal braucht man das Ergebnis direkt auf der Folie

\Sexpr{}

Inline Code - das Ergebnis

PDF Paper mit R

• Mit R ist es möglich Berichte oder Paper zu erzeugen
• Dies eignet sich besonders gut, wenn man viel Code hat oder einen Bericht sehr oft erzeugen muss
• Literatur lässt sich am Besten mit einem bibtex file einbauen

Jabref

• Literaturverwaltungssystem

Referenz mit R bekommen

• Mit dem Befehl citation() bekommt man sehr schnell die Referenz

install.packages("RMySQL")

citation("RMySQL")

## 
## To cite package 'RMySQL' in publications use:
## 
##   Jeroen Ooms, David James, Saikat DebRoy, Hadley Wickham and
##   Jeffrey Horner (2017). RMySQL: Database Interface and 'MySQL'
##   Driver for R. R package version 0.10.11.
##   https://CRAN.R-project.org/package=RMySQL
## 
## A BibTeX entry for LaTeX users is
## 
##   @Manual{,
##     title = {RMySQL: Database Interface and 'MySQL' Driver for R},
##     author = {Jeroen Ooms and David James and Saikat DebRoy and Hadley Wickham and Jeffrey Horner},
##     year = {2017},
##     note = {R package version 0.10.11},
##     url = {https://CRAN.R-project.org/package=RMySQL},
##   }

Das bibtex file einbinden I

Das bibtex file einbinden II

---
title: "R Schnittstellen"
author: "Jan-Philipp Kolb"
date: "21 April 2017"
output: 
  pdf_document: default
bibliography: Rschnittstellen.bib
---

Das Ergebnis

Links

• Optionen für Beamer Präsentationen

• Wie R und LaTeX zusammen funktionieren

HTML Dokumente, Präsentationen und Dashboards mit Rmarkdown

Präsentationen - Rpres der einfachste Weg

Eine erste Präsentation

Erste Daten eintragen

• Für Vergessliche:

date()

## [1] "Sat May 06 22:11:57 2017"

Eine Folie mit Formel

• Die Formel kann wie in LaTeX eingegeben werden

$$
\begin{equation}\label{eq2}
t_{i}=\sum\limits_{k=1}^{M_{i}}{y_{ik}}=M_{i}\bar{Y}_{i}. 
\end{equation}
$$

Zwei Spalten

Folie mit zwei Spalten
====================================
Erste Spalte
***
Zweite Spalte

Folienübergänge

transition: rotate

Weitere mögliche Folienübergänge

• none
• linear
• rotate
• fade
• zoom
• concave

Folientypen

Ein neues Kapitel einfügen
====================================
type: section

Anderer Folientyp
====================================
type: prompt

Noch ein anderer Folientyp
====================================
type: alert

Die Schriftart wechseln

• Die CSS Schrifttypen können verwendet werden

Meine Präsentation
========================================
author: Jan-Philipp Kolb
font-family: 'Impact'

Schrifttypen können auch importiert werden

Meine Präsentation
========================================
author: Jan-Philipp Kolb
font-import: http://fonts.googleapis.com/css?family=Risque
font-family: 'Risque'

Kleineren Text

Normale Schriftgröße

<small>This sentence will appear smaller.</small>

Die Präsentation anschauen

• Das Ergebnis ist hier zu sehen:

http://rpubs.com/Japhilko82/FirstRpubs

Eine ioslides Präsentation

Eine ioslides Präsentation

ioslides - Der Start

Weitere Dinge tun

• Ein Bild einbinden

![picture of spaghetti](images/spaghetti.jpg)

Ein Logo hinzu

---
title: "ioslides Beispiel"
author: "Jan-Philipp Kolb"
date: "20 April 2017"
output: 
  ioslides_presentation:
    logo: figure/Rlogo.png
---

Tabellen

• Quelle: R Studio, and Presentations, and Git! Oh my!

library(knitr)
a <- data.frame(a=1:10,b=10:1)
kable(table(a))

knitr Engines

• knitr Language Engines

• slidify

Eine slidy Präsentation

slidy Präsentationen

Was sind Cascading Style Files ([CSS](https://en.wikipedia.org/wiki/Cascading_Style_Sheets))?

• Stylesheet-Sprache für elektronische Dokumente
• eine der Kernsprachen des World Wide Webs.
• CSS wurde entworfen, um Darstellungsvorgaben weitgehend von den Inhalten zu trennen

CSS und R

• Custom CSS
• CSS pro tipps

Beispiel CSS

Das CSS ändern

Um den Präsentationstyp zu ändern kann man das CSS verändern

• Cascading Style Sheets (CSS)

• Bspw. lässt sich die Farbe (HTML) ändern.
• Man kann eine andere Schriftart wählen
• Es gibt zahlreiche Möglichkeiten der Schriftformatierung

• Daneben gibt es viele weitere Dinge, die sich mit dem CSS steuern lassen

HTML Dokumente

Ein HTML Dokument erzeugen

Ein Template verwenden

Weitere Vorlagen nutzen

• Es gibt viele Formate - manche müssen erst aktiviert werden:

install.packages("rticles")

Vorlagen für Markdown

Das Paket rmdformats - HTML Output Formats and Templates for ‘rmarkdown’

install.packages("rmdformats")

• ProjectTemplate - Automates the Creation of New Statistical Analysis

install.packages("ProjectTemplate")

• tufte - Tufte’s Styles for R Markdown Documents

install.packages("tufte")

Beispiele für Templates

Dashboards

Beispiel R-Pakete

Paket installieren

install.packages("flexdashboard", type = "source")

Ein Dashboard erstellen mit Rstudio

Mein erstes Dashboard

Gallerie

Links

• Verschiedene Markdown Dokumente zusammen fügen

• Verschiedene CSS Fonts

• Überblick über die verschiedenen Rmarkdown Formate

Notebooks zur Integration von anderen Programmiersprachen (Python,LaTeX,Julia)

Notebooks

• Warum R Notebook nutzen

Rnotebooks

Ein Rnotebook anlegen

Rnotebook - erste Schritte

• Es lassen sich so genannte Chunks einfügen
• In diesen Chunks wird ganz normaler R-code geschrieben

Python Code integrieren

• Ebenso lässt sich Python code implementieren

import sys
print(sys.version)

## 2.7.10 (default, May 23 2015, 09:44:00) [MSC v.1500 64 bit (AMD64)]

LaTeX Code integieren

• LaTeX code wird mit zwei Dollarzeichen gekennzeichnet

Notebook veröffentlichen I

Notebook veröffentlichen II

Andere Notebooks

Jupyter Notebook

• Anaconda installieren
• folgenden Befehl in die Eingabeaufforderung eingeben
• Bei Windows findet man diese, wenn man cmd in Suche eingibt.

jupyter notebook

Start Jupyter Notebook

Beispiel Eingabe Code

Beaker Notebook

Beaker Notebook

• Auch bei Beaker kann man R-code einbauen

Beaker starten

• Beaker installieren …
• … und mit beaker.command.bat starten

Links

• knitr Language Engines

• More engines

• Andere Programmiersprachen können eingebunden werden

• Video - Einführung in Rnotebook

• R Notebooks

• IPython vs knitr, or Python vs R

• Datacamp Tutorial - Jupyter Notebook

• Better interactive data science with Beaker and Rodeo

• Knit directly to jupyter notebooks from RStudio

• Python-Markdown

• Podcast

• Deploying JupyterHub for Education
• JupyterHub - github

• Jupyter autograder

Aufgabe: Bearbeiten Sie ein Notebook weiter

• Suchen Sie folgendes Notebook auf meinem Github Ordner:

• Lassen Sie sich die Raw Version anzeigen

• Laden Sie das Notebook herunter:

• Und bearbeiten Sie es so weiter, dass sie die Geokodierung für eine Adresse bekommen, die für Sie interessant ist (Hbf, Hotel, Restaurant etc.)

Interaktive Karten mit dem Javascript Paket leaflet

Die Daten - Weltkulturerbe

• die Daten einlesen:

url <- "https://raw.githubusercontent.com/Japhilko/
GeoData/master/2015/data/whcSites.csv"

whcSites <- read.csv(url) 

• die Daten werden eingeschränkt:

whcSitesDat <- with(whcSites,data.frame(name_en,
                                        category))

• Eine Tabelle erzeugen

library(knitr)
kable(head(whcSitesDat))

Das Paket DT

install.packages("DT")

Weitere Variablen WHC Datensatz

whcSitesDat2 <- with(whcSites,data.frame(name_en,category,longitude,latitude,date_inscribed,area_hectares,danger_list))

• mit dem Befehl datatable kann man eine erste interaktive Tabelle erstellen:

library('DT')
datatable(whcSitesDat2)

Das Ergebnis bei Rpubs

http://rpubs.com/Japhilko82/WHCdata

Das Paket magrittr

• magrittr - für den Pipe Operator in R:

install.packages("magrittr")

library("magrittr")

Die Pipes nutzen

library(magrittr)

str1 <- "Hallo Welt"
str1 %>% substr(1,5)

## [1] "Hallo"

str1 %>% substr(1,5) %>% toupper()

## [1] "HALLO"

Das Paket leaflet

• leaflet - um interaktive Karten mit der JavaScript Bibliothek ‘Leaflet’ zu erzeugen

install.packages("leaflet")

library("leaflet")

• Robin Lovelace - The leaflet package for online mapping in R

Eine interaktive Karte erstellen

m <- leaflet() %>%
  addTiles() %>%  # Add default OpenStreetMap map tiles
  addMarkers(lng=whcSites$lon, 
             lat=whcSites$lat, 
             popup=whcSites$name_en)
m

Die Karte zeigen

Farbe hinzu

• die unterschiedlichen Kategorien farblich einfärben

whcSites$color <- "red"
whcSites$color[whcSites$category=="Cultural"] <- "blue"
whcSites$color[whcSites$category=="Mixed"] <- "orange"

Eine Karte mit Farbe erzeugen

m1 <- leaflet() %>%
  addTiles() %>%  
  addCircles(lng=whcSites$lon, 
             lat=whcSites$lat, 
             popup=whcSites$name_en,
             color=whcSites$color)

Die Karte mit mehr Farbe

Weltkulturerbe

Die Karte abspeichern

Layers ein- und ausblenden

m2 <- leaflet() %>%
  addTiles(group = "OSM (default)") %>%  
  addProviderTiles("Stamen.Toner", group = "Toner") %>%
  addProviderTiles("Stamen.TonerLite", group = "Toner Lite") %>%

  addCircles(lng=whcSites$lon, 
             lat=whcSites$lat, 
             popup=whcSites$name_en) %>% 
  
  addLayersControl(
    baseGroups = c("OSM (default)", "Toner", "Toner Lite"),
    options = layersControlOptions(collapsed = FALSE)
  )
m2

Ein weiteres Beispiel mit Erdbebendaten

outline <- quakes[chull(quakes$long, quakes$lat),]

map <- leaflet(quakes) %>%
  # Base groups
  addTiles(group = "OSM (default)") %>%
  addProviderTiles("Stamen.Toner", group = "Toner") %>%
  addProviderTiles("Stamen.TonerLite", group = "Toner Lite") %>%
  # Overlay groups
  addCircles(~long, ~lat, ~10^mag/5, stroke = F, group = "Quakes") %>%
  addPolygons(data = outline, lng = ~long, lat = ~lat,
    fill = F, weight = 2, color = "#FFFFCC", group = "Outline") %>%
  # Layers control
  addLayersControl(
    baseGroups = c("OSM (default)", "Toner", "Toner Lite"),
    overlayGroups = c("Quakes", "Outline"),
    options = layersControlOptions(collapsed = FALSE)
  )
map

Karte mit Polygonen erzeugen

library(sp)
Sr1 = Polygon(cbind(c(2, 4, 4, 1, 2), c(2, 3, 5, 4, 2)))
Sr2 = Polygon(cbind(c(5, 4, 2, 5), c(2, 3, 2, 2)))
Sr3 = Polygon(cbind(c(4, 4, 5, 10, 4), c(5, 3, 2, 5, 5)))
Sr4 = Polygon(cbind(c(5, 6, 6, 5, 5), c(4, 4, 3, 3, 4)), hole = TRUE)
Srs1 = Polygons(list(Sr1), "s1")
Srs2 = Polygons(list(Sr2), "s2")
Srs3 = Polygons(list(Sr4, Sr3), "s3/4")
SpP = SpatialPolygons(list(Srs1, Srs2, Srs3), 1:3)
leaflet(height = "300px") %>% addPolygons(data = SpP)

Beispiel US Staaten

library(maps)
mapStates = map("state", fill = TRUE, plot = FALSE)
leaflet(data = mapStates) %>% addTiles() %>%
  addPolygons(fillColor = topo.colors(10, alpha = NULL), stroke = FALSE)

Die Basiskarte ändern

• Neben der Default Basiskarte kann man auch andere Hintergründe aktivieren

m <- leaflet() %>% setView(lng = -71.0589, lat = 42.3601, zoom = 12)
m %>% addTiles()

m %>% addProviderTiles("Stamen.Toner")

Basiskarte - CartoDB

m %>% addProviderTiles("CartoDB.Positron")

Esri.NatGeoWorldMap

m %>% addProviderTiles("Esri.NatGeoWorldMap")

OpenTopoMap

m %>% addProviderTiles("OpenTopoMap")

Thunderforest.OpenCycleMap

m %>% addProviderTiles("Thunderforest.OpenCycleMap")

WMS Tiles hinzufügen

leaflet() %>% addTiles() %>% setView(-93.65, 42.0285, zoom = 4) %>%
  addWMSTiles(
    "http://mesonet.agron.iastate.edu/cgi-bin/wms/nexrad/n0r.cgi",
    layers = "nexrad-n0r-900913",
    options = WMSTileOptions(format = "image/png", transparent = TRUE),
    attribution = "Weather data © 2012 IEM Nexrad"
  )

Mehrere Layer miteinander kombinieren

m %>% addProviderTiles("MtbMap") %>%
  addProviderTiles("Stamen.TonerLines",
    options = providerTileOptions(opacity = 0.35)) %>%
  addProviderTiles("Stamen.TonerLabels")

Andere Marker benutzen

greenLeafIcon <- makeIcon(
  iconUrl = "http://leafletjs.com/examples/custom-icons/leaf-green.png",
  iconWidth = 38, iconHeight = 95,
  iconAnchorX = 22, iconAnchorY = 94,
  shadowUrl = "http://leafletjs.com/examples/custom-icons/leaf-shadow.png",
  shadowWidth = 50, shadowHeight = 64,
  shadowAnchorX = 4, shadowAnchorY = 62
)

leaflet(data = quakes[1:4,]) %>% addTiles() %>%
  addMarkers(~long, ~lat, icon = greenLeafIcon)

Cluster Optionen für Marker

leaflet(quakes) %>% addTiles() %>% addMarkers(
  clusterOptions = markerClusterOptions()
)

Ein Rechteck hinzufügen

leaflet() %>% addTiles() %>%
  addRectangles(
    lng1=-118.456554, lat1=34.078039,
    lng2=-118.436383, lat2=34.062717,
    fillColor = "transparent"
  )

Links und Quellen

• 4 Tricks zum Arbeiten mit Leaflet

• http://www.r-bloggers.com/the-leaflet-package-for-online-mapping-in-r/

• https://rstudio.github.io/leaflet/

Interaktive Tabellen mit DataTables

The R-package DT

• DT: An R interface to the DataTables library

install.packages('DT')

library('DT')

exdat <- read.csv("data/exdat.csv")

datatable(exdat)

Beispiel für interaktive Tabelle

Hier ist das Ergebnis - Beispiel für eine interaktive Tabelle

Default Optionen verändern

datatable(head(exdat, 20), options = list(
  columnDefs = list(list(className = 'dt-center', targets = 5)),
  pageLength = 5,
  lengthMenu = c(5, 10, 15, 20)
))

Suchoptionen kennzeichnen

datatable(exdat, options = list(searchHighlight = TRUE), filter = 'top')

R und die Javascript Data-Driven Documents (D3)

JavaScript - Data-Driven Documents

• D3 ist eine der mächtigsten unter der Vielzahl aktuell verfügbarer JavaScript-Bibliotheken zur Datenvisualisierung.

• Big Data im Netz visualisieren
• Möglichkeiten mit der JS D3 Bibliothek
• Die Power von R und D3.js zusammen bringen
• 5 Interaktive R Visualisierungen mit D3, ggplot2 und RStudio

• Das D3 Netzwerk

gigvis

install.packages("ggvis")

library("ggvis")
library(dplyr)

• Übersicht zu ggvis

Kochbuch für ggvis

mtcars %>% ggvis(~wt, ~mpg) %>% layer_points()

Plots mit Gruppierung

mtcars %>% 
  ggvis(~wt, ~mpg, fill = ~factor(cyl)) %>% 
  layer_points() %>% 
  group_by(cyl) %>% 
  layer_model_predictions(model = "lm")

Interaktive Graphiken mit ggvis

mtcars %>%
  ggvis(~wt, ~mpg) %>%
  layer_smooths(span = input_slider(0.5, 1, value = 1)) %>%
  layer_points(size := input_slider(100, 1000, value = 100))

• ggvis - Interaktivität

googleVis

install.packages("googleVis")

library(googleVis)

df <- data.frame(year=1:11, x=1:11,
                 x.scope=c(rep(TRUE, 8), rep(FALSE, 3)),
                 y=11:1, y.html.tooltip=LETTERS[11:1],                 
                 y.certainty=c(rep(TRUE, 5), rep(FALSE, 6)),
                 y.emphasis=c(rep(FALSE, 4), rep(TRUE, 7)))

plot(
  gvisScatterChart(df,options=list(lineWidth=2))
)

Click me

install.packages("devtools")
library(devtools)

install_github("clickme", "nachocab")

library(clickme)

# simple
clickme("points", 1:10)

# fancy
n <- 500
clickme("points",
    x = rbeta(n, 1, 10), y = rbeta(n, 1, 10),
    names = sample(letters, n, r = T),
    color_groups = sample(LETTERS[1:3], n, r = T),
    title = "Zoom Search Hover Click")

d3Network

install.packages("d3Network")

library(d3Network)
Source <- c("A", "A", "A", "A", "B", "B", "C", "C", "D")
Target <- c("B", "C", "D", "J", "E", "F", "G", "H", "I")
NetworkData <- data.frame(Source, Target)
d3SimpleNetwork(NetworkData, width = 400, height = 250)

## 
##         <!DOCTYPE html>
##         <meta charset="utf-8">
##         <body> 
##  <style>
## .link {
## stroke: #666;
## opacity: 0.6;
## stroke-width: 1.5px;
## }
## .node circle {
## stroke: #fff;
## opacity: 0.6;
## stroke-width: 1.5px;
## }
## text {
## font: 7px serif;
## opacity: 0.6;
## pointer-events: none;
## }
## </style>
## 
## <script src=http://d3js.org/d3.v3.min.js></script>
## 
## <script> 
##  var links = [ { "source" : "A", "target" : "B" }, { "source" : "A", "target" : "C" }, { "source" : "A", "target" : "D" }, { "source" : "A", "target" : "J" }, { "source" : "B", "target" : "E" }, { "source" : "B", "target" : "F" }, { "source" : "C", "target" : "G" }, { "source" : "C", "target" : "H" }, { "source" : "D", "target" : "I" } ] ; 
##  var nodes = {}
## 
## // Compute the distinct nodes from the links.
## links.forEach(function(link) {
## link.source = nodes[link.source] ||
## (nodes[link.source] = {name: link.source});
## link.target = nodes[link.target] ||
## (nodes[link.target] = {name: link.target});
## link.value = +link.value;
## });
## 
## var width = 400
## height = 250;
## 
## var force = d3.layout.force()
## .nodes(d3.values(nodes))
## .links(links)
## .size([width, height])
## .linkDistance(50)
## .charge(-200)
## .on("tick", tick)
## .start();
## 
## var svg = d3.select("body").append("svg")
## .attr("width", width)
## .attr("height", height);
## 
## var link = svg.selectAll(".link")
## .data(force.links())
## .enter().append("line")
## .attr("class", "link");
## 
## var node = svg.selectAll(".node")
## .data(force.nodes())
## .enter().append("g")
## .attr("class", "node")
## .on("mouseover", mouseover)
## .on("mouseout", mouseout)
## .on("click", click)
## .on("dblclick", dblclick)
## .call(force.drag);
## 
## node.append("circle")
## .attr("r", 8)
## .style("fill", "#3182bd");
## 
## node.append("text")
## .attr("x", 12)
## .attr("dy", ".35em")
## .style("fill", "#3182bd")
## .text(function(d) { return d.name; });
## 
## function tick() {
## link
## .attr("x1", function(d) { return d.source.x; })
## .attr("y1", function(d) { return d.source.y; })
## .attr("x2", function(d) { return d.target.x; })
## .attr("y2", function(d) { return d.target.y; });
## 
## node.attr("transform", function(d) { return "translate(" + d.x + "," + d.y + ")"; });
## }
## 
## function mouseover() {
## d3.select(this).select("circle").transition()
## .duration(750)
## .attr("r", 16);
## }
## 
## function mouseout() {
## d3.select(this).select("circle").transition()
## .duration(750)
## .attr("r", 8);
## }
## // action to take on mouse click
## function click() {
## d3.select(this).select("text").transition()
## .duration(750)
## .attr("x", 22)
## .style("stroke-width", ".5px")
## .style("opacity", 1)
## .style("fill", "#E34A33")
## .style("font", "17.5px serif");
## d3.select(this).select("circle").transition()
## .duration(750)
## .style("fill", "#E34A33")
## .attr("r", 16)
## }
## 
## // action to take on mouse double click
## function dblclick() {
## d3.select(this).select("circle").transition()
## .duration(750)
## .attr("r", 6)
## .style("fill", "#E34A33");
## d3.select(this).select("text").transition()
## .duration(750)
## .attr("x", 12)
## .style("stroke", "none")
## .style("fill", "#E34A33")
## .style("stroke", "none")
## .style("opacity", 0.6)
## .style("font", "7px serif");
## }
## 
## </script>
##  </body>

sink("FirstNetwork.js") 

writeLines(d3SimpleNetwork(NetworkData), fileConn)
unlink("FirstNetwork.js")

HTML widgets in R

library(dygraphs)
dygraph(nhtemp, main = "New Haven Temperatures") %>% 
  dyRangeSelector(dateWindow = c("1920-01-01", "1960-01-01"))

Combo Chart

library(googleVis)
op <- options(gvis.plot.tag = "chart")
## Add the mean
CityPopularity$Mean=mean(CityPopularity$Popularity)
CC <- gvisComboChart(CityPopularity, xvar='City',
          yvar=c('Mean', 'Popularity'),
          options=list(seriesType='bars',
                       width=450, height=300,
                       title='City Popularity',
                       series='{0: {type:\"line\"}}'))
plot(CC)

## <!-- ComboChart generated in R 3.3.3 by googleVis 0.6.2 package -->
## <!-- Sat May 06 22:12:05 2017 -->
## 
## 
## <!-- jsHeader -->
## <script type="text/javascript">
##  
## // jsData 
## function gvisDataComboChartID15b0312d4d6b () {
## var data = new google.visualization.DataTable();
## var datajson =
## [
##  [
## "New York",
## 450,
## 200
## ],
## [
## "Boston",
## 450,
## 300
## ],
## [
## "Miami",
## 450,
## 400
## ],
## [
## "Chicago",
## 450,
## 500
## ],
## [
## "Los Angeles",
## 450,
## 600
## ],
## [
## "Houston",
## 450,
## 700
## ] 
## ];
## data.addColumn('string','City');
## data.addColumn('number','Mean');
## data.addColumn('number','Popularity');
## data.addRows(datajson);
## return(data);
## }
##  
## // jsDrawChart
## function drawChartComboChartID15b0312d4d6b() {
## var data = gvisDataComboChartID15b0312d4d6b();
## var options = {};
## options["allowHtml"] = true;
## options["seriesType"] = "bars";
## options["width"] = 450;
## options["height"] = 300;
## options["title"] = "City Popularity";
## options["series"] = {0: {type:"line"}};
## 
## 
##     var chart = new google.visualization.ComboChart(
##     document.getElementById('ComboChartID15b0312d4d6b')
##     );
##     chart.draw(data,options);
##     
## 
## }
##   
##  
## // jsDisplayChart
## (function() {
## var pkgs = window.__gvisPackages = window.__gvisPackages || [];
## var callbacks = window.__gvisCallbacks = window.__gvisCallbacks || [];
## var chartid = "corechart";
##   
## // Manually see if chartid is in pkgs (not all browsers support Array.indexOf)
## var i, newPackage = true;
## for (i = 0; newPackage && i < pkgs.length; i++) {
## if (pkgs[i] === chartid)
## newPackage = false;
## }
## if (newPackage)
##   pkgs.push(chartid);
##   
## // Add the drawChart function to the global list of callbacks
## callbacks.push(drawChartComboChartID15b0312d4d6b);
## })();
## function displayChartComboChartID15b0312d4d6b() {
##   var pkgs = window.__gvisPackages = window.__gvisPackages || [];
##   var callbacks = window.__gvisCallbacks = window.__gvisCallbacks || [];
##   window.clearTimeout(window.__gvisLoad);
##   // The timeout is set to 100 because otherwise the container div we are
##   // targeting might not be part of the document yet
##   window.__gvisLoad = setTimeout(function() {
##   var pkgCount = pkgs.length;
##   google.load("visualization", "1", { packages:pkgs, callback: function() {
##   if (pkgCount != pkgs.length) {
##   // Race condition where another setTimeout call snuck in after us; if
##   // that call added a package, we must not shift its callback
##   return;
## }
## while (callbacks.length > 0)
## callbacks.shift()();
## } });
## }, 100);
## }
##  
## // jsFooter
## </script>
##  
## <!-- jsChart -->  
## <script type="text/javascript" src="https://www.google.com/jsapi?callback=displayChartComboChartID15b0312d4d6b"></script>
##  
## <!-- divChart -->
##   
## <div id="ComboChartID15b0312d4d6b" 
##   style="width: 450; height: 300;">
## </div>

• Introducing JS

install.packages("threejs")

# install.packages("threejs")
library(threejs)
z <- seq(-10, 10, 0.01)
x <- cos(z)
y <- sin(z)
scatterplot3js(x,y,z, color=rainbow(length(z)))

Links

• Google Charts

• Three little circles

• Wie schreibt man gute html widgets

• Die widgets exportieren

• R wie Javascript programmieren

• Mit Javascript in R arbeiten

• Paket rbokeh

• Interaktive Graphiken mit SVG

• Rook - Tools um Webapplikationen mit R zu erstellen

install.packages("Rook")

Interaktive Graphiken mit D3 und plotly

plotly Installieren

install.packages("plotly")

library("plotly")

Der Anfang mit plotly für R

p <- plot_ly(midwest, x = ~percollege, color = ~state, type = "box")
p

plotly Beispiel mit eigenen Daten

url <- "https://raw.githubusercontent.com/Japhilko/GeoData/master/2015/data/whcSites.csv"

whcSites <- read.csv(url) 

p <- plot_ly(whcSites, x = ~date_inscribed, color = ~category_short, type = "box")
p

Links

• Getting started with Plotly: basic Plots

Netzwerkgraphiken mit vis.js

Introduction to visNetwork

• Rein kommen

# install.packages("visNetwork")
library(visNetwork)

Ein Minimalbeispiel

nodes <- data.frame(id = 1:3)
edges <- data.frame(from = c(1,2), to = c(1,3))
visNetwork(nodes, edges, width = "100%")

Wie es funktioniert

visDocumentation()
vignette("Introduction-to-visNetwork") # with CRAN version

Shiny Beispiel

shiny::runApp(system.file("shiny", package = "visNetwork"))

d3-Netzwerkgraphiken mit R

Das Erstellen von Ablaufdiagrammen mit mermaid

Um was geht es?

• Getting started

• Das R-Paket DiagrammeR

install.packages('DiagrammeR')

library('DiagrammeR')

Creating a simple graph

DiagrammeR("
  graph LR
    A-->B
    A-->C
    C-->E
    B-->D
    C-->D
    D-->F
    E-->F
")

Creating a GANTT diagramm

DiagrammeR("
gantt
        dateFormat  YYYY-MM-DD
        title Adding GANTT diagram functionality to mermaid
        section A section
        Completed task            :done,    des1, 2014-01-06,2014-01-08
        Active task               :active,  des2, 2014-01-09, 3d
        Future task               :         des3, after des2, 5d
        Future task2               :         des4, after des3, 5d
        section Critical tasks
        Completed task in the critical line :crit, done, 2014-01-06,24h
        Implement parser and jison          :crit, done, after des1, 2d
        Create tests for parser             :crit, active, 3d
        Future task in critical line        :crit, 5d
        Create tests for renderer           :2d
        Add to mermaid                      :1d
")

Ein weiteres Gantt Diagramm

library(DiagrammeR)
mermaid("
gantt
dateFormat  YYYY-MM-DD
title A Very Nice Gantt Diagram

section Basic Tasks
This is completed             :done,          first_1,    2014-01-06, 2014-01-08
This is active                :active,        first_2,    2014-01-09, 3d
Do this later                 :               first_3,    after first_2, 5d
Do this after that            :               first_4,    after first_3, 5d

section Important Things
Completed, critical task      :crit, done,    import_1,   2014-01-06,24h
Also done, also critical      :crit, done,    import_2,   after import_1, 2d
Doing this important task now :crit, active,  import_3,   after import_2, 3d
Next critical task            :crit,          import_4,   after import_3, 5d

section The Extras
First extras                  :active,        extras_1,   after import_4,  3d
Second helping                :               extras_2,   after extras_1, 20h
More of the extras            :               extras_3,   after extras_1, 48h
")

Links

• Github repo

• Gantt chart

• Javascript Bibliothek mermaid

• viz.js

Internetresourcen und Schnittstellen nutzen

Was sind API’s?

Programmierschnittstellen

• Relevanz hat der Begriff der API vor allem durch seine Verwendung von Webdiensten erhalten.
• APIs dienen also zum Austausch und der Weiterverarbeitung von Daten und Inhalten zwischen verschiedenen Webseiten, Programmen und Content-Anbietern.

Bedeutung

• es ist unter anderem möglich Daten von Programmierschnittstellen zu beziehen
• diese Daten sind allerdings nicht als .xlsx, .csv, .dta oder ähnliches abgespeichert sondern in einem der folgenden Formate: .json, .xml etc.

JavaScript Object Notation

GeoJSON

OpenStreetMap Daten

Import von JSON-Objekten und XML Dateien

Import von JSON Dateien

JavaScript Object Notation (JSON)

• Jedes gültige JSON-Dokument soll ein gültiges JavaScript sein
• JSON wird zur Übertragung und zum Speichern von strukturierten Daten eingesetzt
• Insbesondere bei Webanwendungen und mobilen Apps wird es in Verbindung mit JavaScript, Ajax oder WebSockets zum Transfer von Daten zwischen dem Client und dem Server häufig genutzt.

Das GeoJSON Format

• GeoJSON ist ein offenes Format um geografische Daten nach der Simple-Feature-Access-Spezifikation zu repräsentieren.
• Dafür wird die JavaScript Object Notation verwendet.

Die Struktur der Daten kann man sich mit einem JSON Viewer anschauen

Download von Beispieldaten

• Overpass Turbo kann verwendet werden um Beispieldaten zu bekommen

https://overpass-turbo.eu/

Exkurs OpenStreetMap Daten

• Auf Overpass Turbo können Daten für Map Features exportiert werden
• Eine Liste der erhältlichen Map Features gibt es auf http://wiki.openstreetmap.org/wiki/DE:Map_Features

Beispiele für GeoJSON

Das Paket jsonlite

install.packages("jsonlite")

library(jsonlite)
citation("jsonlite")

## 
## To cite jsonlite in publications use:
## 
##   Jeroen Ooms (2014). The jsonlite Package: A Practical and
##   Consistent Mapping Between JSON Data and R Objects.
##   arXiv:1403.2805 [stat.CO] URL http://arxiv.org/abs/1403.2805.
## 
## A BibTeX entry for LaTeX users is
## 
##   @Article{,
##     title = {The jsonlite Package: A Practical and Consistent Mapping Between JSON Data and R Objects},
##     author = {Jeroen Ooms},
##     journal = {arXiv:1403.2805 [stat.CO]},
##     year = {2014},
##     url = {http://arxiv.org/abs/1403.2805},
##   }

JSON importieren

library("jsonlite")
DRINKWATER <- fromJSON("data/RomDrinkingWater.geojson")

names(DRINKWATER)[1:3]

## [1] "type"      "generator" "copyright"

names(DRINKWATER)[4:5]

## [1] "timestamp" "features"

Die Daten anschauen

head(DRINKWATER$features)

##      type             id properties.@id properties.amenity properties.flow
## 1 Feature node/246574149 node/246574149     drinking_water     push-button
## 2 Feature node/246574150 node/246574150     drinking_water            <NA>
## 3 Feature node/246574151 node/246574151     drinking_water            <NA>
## 4 Feature node/248743324 node/248743324     drinking_water            <NA>
## 5 Feature node/251773348 node/251773348     drinking_water            <NA>
## 6 Feature node/251773551 node/251773551     drinking_water            <NA>
##   properties.type properties.name properties.name:fr properties.wheelchair
## 1          nasone            <NA>               <NA>                  <NA>
## 2            <NA>            <NA>               <NA>                  <NA>
## 3            <NA>            <NA>               <NA>                  <NA>
## 4            <NA>            <NA>               <NA>                  <NA>
## 5          nasone            <NA>               <NA>                  <NA>
## 6            <NA>    Acqua Marcia        Eau potable                   yes
##   properties.created_by properties.indoor geometry.type
## 1                  <NA>              <NA>         Point
## 2                  <NA>              <NA>         Point
## 3                  <NA>              <NA>         Point
## 4                  <NA>              <NA>         Point
## 5                  <NA>              <NA>         Point
## 6                  <NA>              <NA>         Point
##   geometry.coordinates
## 1   12.49191, 41.89479
## 2   12.49095, 41.89489
## 3   12.48774, 41.89450
## 4   12.48773, 41.89354
## 5   12.48529, 41.88539
## 6   12.48386, 41.89332

Github JSON Daten

• Es lassen sich auch Dinge aus dem Web auslesen:

my_repos <- fromJSON("https://api.github.com/users/japhilko/repos")

names(my_repos)

##  [1] "id"                "name"              "full_name"        
##  [4] "owner"             "private"           "html_url"         
##  [7] "description"       "fork"              "url"              
## [10] "forks_url"         "keys_url"          "collaborators_url"
## [13] "teams_url"         "hooks_url"         "issue_events_url" 
## [16] "events_url"        "assignees_url"     "branches_url"     
## [19] "tags_url"          "blobs_url"         "git_tags_url"     
## [22] "git_refs_url"      "trees_url"         "statuses_url"     
## [25] "languages_url"     "stargazers_url"    "contributors_url" 
## [28] "subscribers_url"   "subscription_url"  "commits_url"      
## [31] "git_commits_url"   "comments_url"      "issue_comment_url"
## [34] "contents_url"      "compare_url"       "merges_url"       
## [37] "archive_url"       "downloads_url"     "issues_url"       
## [40] "pulls_url"         "milestones_url"    "notifications_url"
## [43] "labels_url"        "releases_url"      "deployments_url"  
## [46] "created_at"        "updated_at"        "pushed_at"        
## [49] "git_url"           "ssh_url"           "clone_url"        
## [52] "svn_url"           "homepage"          "size"             
## [55] "stargazers_count"  "watchers_count"    "language"         
## [58] "has_issues"        "has_projects"      "has_downloads"    
## [61] "has_wiki"          "has_pages"         "forks_count"      
## [64] "mirror_url"        "open_issues_count" "forks"            
## [67] "open_issues"       "watchers"          "default_branch"

Weiteres Beispiel für JSON Daten

• Die Ergast Developer API ist ein experimenteller Web Service, der eine historische Aufzeichnung von Motorsportdaten liefert.

Ergast Daten lesen

library(jsonlite)
res <- fromJSON('http://ergast.com/api/f1/2004/1/results.json')
drivers <- res$MRData$RaceTable$Races$Results[[1]]$Driver
colnames(drivers)

## [1] "driverId"        "code"            "url"             "givenName"      
## [5] "familyName"      "dateOfBirth"     "nationality"     "permanentNumber"

Daten der New York Times

• Die New York Times hat mehrere APIs als Teil des NYT-Entwickler-Netzwerks.
• Es ist eine Schnittstelle zu Daten aus verschiedenen Abteilungen, wie Nachrichtenartikel, Buchbesprechungen, Immobilien, etc.
• Registrierung ist erforderlich (aber kostenlos) und ein Schlüssel kann hier erhalten werden.

New York Times Beispiel

article_key <- "&api-key=c2fede7bd9aea57c898f538e5ec0a1ee:6:68700045"
url <- "http://api.nytimes.com/svc/search/v2/articlesearch.json?q=obamacare+socialism"
req <- fromJSON(paste0(url, article_key))
articles <- req$response$docs
colnames(articles)

##  [1] "web_url"           "snippet"           "lead_paragraph"   
##  [4] "abstract"          "print_page"        "blog"             
##  [7] "source"            "multimedia"        "headline"         
## [10] "keywords"          "pub_date"          "document_type"    
## [13] "news_desk"         "section_name"      "subsection_name"  
## [16] "byline"            "type_of_material"  "_id"              
## [19] "word_count"        "slideshow_credits"

Import von XML Dateien

Das XML Paket

library(XML)
citation("XML")

## 
## To cite package 'XML' in publications use:
## 
##   Duncan Temple Lang and the CRAN Team (2016). XML: Tools for
##   Parsing and Generating XML Within R and S-Plus. R package
##   version 3.98-1.5. https://CRAN.R-project.org/package=XML
## 
## A BibTeX entry for LaTeX users is
## 
##   @Manual{,
##     title = {XML: Tools for Parsing and Generating XML Within R and S-Plus},
##     author = {Duncan Temple Lang and the CRAN Team},
##     year = {2016},
##     note = {R package version 3.98-1.5},
##     url = {https://CRAN.R-project.org/package=XML},
##   }
## 
## ATTENTION: This citation information has been auto-generated from
## the package DESCRIPTION file and may need manual editing, see
## 'help("citation")'.

Das xml2 Paket

install.packages("xml2")

library(xml2)
citation("xml2")

## 
## To cite package 'xml2' in publications use:
## 
##   Hadley Wickham and James Hester (2016). xml2: Parse XML. R
##   package version 1.0.0. https://CRAN.R-project.org/package=xml2
## 
## A BibTeX entry for LaTeX users is
## 
##   @Manual{,
##     title = {xml2: Parse XML},
##     author = {Hadley Wickham and James Hester},
##     year = {2016},
##     note = {R package version 1.0.0},
##     url = {https://CRAN.R-project.org/package=xml2},
##   }

Erstes Beispiel

url <- "http://api.openstreetmap.org/api/0.6/
relation/62422"

library(xml2)
BE <- xmlParse(url)

Administrative Grenzen Berlin

Das XML analysieren

• Tobi Bosede - Working with XML Data in R

xmltop = xmlRoot(BE)
class(xmltop)

## [1] "XMLInternalElementNode" "XMLInternalNode"       
## [3] "XMLAbstractNode"

xmlSize(xmltop)

## [1] 1

xmlSize(xmltop[[1]])

## [1] 328

Nutzung von Xpath

Xpath, the XML Path Language, is a query language for selecting nodes from an XML document.

xpathApply(BE,"//tag[@k = 'source:population']")

## [[1]]
## <tag k="source:population" v="http://www.statistik-berlin-brandenburg.de/Publikationen/Stat_Berichte/2010/SB_A1-1_A2-4_q01-10_BE.pdf 2010-10-01"/> 
## 
## attr(,"class")
## [1] "XMLNodeSet"

Node parsen

url2 <- "http://api.openstreetmap.org/api/0.6/node/2923760808"
RennesBa <- xmlParse(url2)

Way parsen

url3 <- "http://api.openstreetmap.org/api/0.6/way/72799743"
MadCalle <- xmlParse(url3)

The Overpass API

Logo Overpass API

The Overpass API is a read-only API that serves up custom selected parts of the OSM map data.

(http://wiki.openstreetmap.org/wiki/Overpass_API)

Wichtige Information

http://wiki.openstreetmap.org/wiki/Map_Features

osm map features

Beispiel: Nutzung der Overpass API

Spielplätze Mannheim

Export der Rohdaten

Export Rohdaten

Import von der Overpass API zu R

Link1 <- "http://www.overpass-api.de/api/interpreter?
data=[maxsize:1073741824][timeout:900];area[name=\""

library(XML)
place <- "Mannheim"
type_obj <- "node"
object <- "leisure=playground"

InfoList <- xmlParse(paste(Link1,place,"\"];",
type_obj,"(area)[",object,"];out;",sep=""))

XML Output

Spielplätze in Mannheim

Das Arbeiten mit XML Daten (xpath)

Die Liste der ID’s mit dem Wert playground:

node_id <- xpathApply(InfoList,
"//tag[@v= 'playground']/parent::node/@ id")
## node_id[[1]]

Erste node id

latitude und longitude bekommen

lat_x <- xpathApply(InfoList,
"//tag[@v= 'playground']/parent::node/@ lat")
# lat_x[[1]];lat_x[[2]]

lat_x <- xpathApply(InfoList,
"//tag[@v= 'playground']/parent::node/@ lon")

Latitude Koordinate

Paket auf Github

library(devtools)
install_github("Japhilko/gosmd")

library(gosmd)
pg_MA <- get_osm_nodes(object="leisure=playground",
                       "Mannheim")
info <- extract_osm_nodes(OSM.Data=pg_MA,
                          value="playground")

Ausschnitt der Ergebnisse

Link

• Tutorial zur Nutzung der Overpass API

• Vignette xml2

Mehr Beispiele, wie man mit XML Daten umgeht:

• Daten aus XML extrahieren

http://www.stat.berkeley.edu/~statcur/Workshop2/Presentations/XML.pdf

• Duncan Temple Lang - A Short Introduction to the XML package for R

http://www.omegahat.net/RSXML/shortIntro.pdf

Noch mehr Informationen

• Web Daten manipulieren

http://www.di.fc.ul.pt/~jpn/r/web/index.html#parsing-xml

• Tutorial zu xquery

http://www.w3schools.com/xml/xquery_intro.asp

• R und das Web (für Anfänger), Teil II: XML und R

http://giventhedata.blogspot.de/2012/06/r-and-web-for-beginners-part-ii-xml-in.html

• String Manipulation

http://gastonsanchez.com/Handling_and_Processing_Strings_in_R.pdf

Das R-Paket XML - Gaston Sanchez

library("XML")

Gaston Sanchez - Dataflow

Seine Arbeit sieht man hier.

Das Arbeiten mit XML Daten

Gaston Sanchez - Webdaten bekommen

Funktionen im XML Paket

Einzelne Objekte finden

<www.openstreetmap.org/export>

osm export

Beispiel: administrative Grenzen Berlin

Administrative Grenzen für Deutschland

url <- "http://api.openstreetmap.org/api/0.6/relation/62422"

BE <- xmlParse(url)

Administrative Grenzen Berlin

Das XML analysieren

• Tobi Bosede - Working with XML Data in R

xmltop = xmlRoot(BE)
class(xmltop)

## [1] "XMLInternalElementNode" "XMLInternalNode"       
## [3] "XMLAbstractNode"

xmlSize(xmltop)

## [1] 1

xmlSize(xmltop[[1]])

## [1] 328

Nutzung von Xpath

Xpath, the XML Path Language, is a query language for selecting nodes from an XML document.

xpathApply(BE,"//tag[@k = 'population']")

## [[1]]
## <tag k="population" v="3440441"/> 
## 
## attr(,"class")
## [1] "XMLNodeSet"

Quelle für die Bevölkerungsgröße

xpathApply(BE,"//tag[@k = 'source:population']")

## [[1]]
## <tag k="source:population" v="http://www.statistik-berlin-brandenburg.de/Publikationen/Stat_Berichte/2010/SB_A1-1_A2-4_q01-10_BE.pdf 2010-10-01"/> 
## 
## attr(,"class")
## [1] "XMLNodeSet"

-Statistik Berlin Brandenburg

Etwas überraschend:

xpathApply(BE,"//tag[@k = 'name:ta']")

## [[1]]
## <tag k="name:ta" v="<U+0BAA><U+0BC6><U+0BB0><U+0BCD><U+0BB2><U+0BBF><U+0BA9><U+0BCD>"/> 
## 
## attr(,"class")
## [1] "XMLNodeSet"

Geographische Region

region <- xpathApply(BE,
  "//tag[@k = 'geographical_region']")
# regular expressions
region[[1]]

## <tag k="geographical_region" v="Barnim;Berliner Urstromtal;Teltow;Nauener Platte"/>

<tag k="geographical_region" 
  v="Barnim;Berliner Urstromtal;
  Teltow;Nauener Platte"/>

Landkreis

Barnim

Weiteres Beispiel

url2<-"http://api.openstreetmap.org/api/0.6/node/25113879"
obj2<-xmlParse(url2)
obj_amenity<-xpathApply(obj2,"//tag[@k = 'amenity']")[[1]]
obj_amenity

## <tag k="amenity" v="university"/>

Wikipedia Artikel

xpathApply(obj2,"//tag[@k = 'wikipedia']")[[1]]

## <tag k="wikipedia" v="de:Universität Mannheim"/>

xpathApply(obj2,"//tag[@k = 'wheelchair']")[[1]]

xpathApply(obj2,"//tag[@k = 'name']")[[1]]

Das C und das A

url3<-"http://api.openstreetmap.org/api/0.6/node/303550876"
obj3 <- xmlParse(url3)
xpathApply(obj3,"//tag[@k = 'opening_hours']")[[1]]

## <tag k="opening_hours" v="Mo-Sa 09:00-20:00; Su,PH off"/>

Hin und weg

url4<-"http://api.openstreetmap.org/api/0.6/node/25439439"
obj4 <- xmlParse(url4)
xpathApply(obj4,"//tag[@k = 'railway:station_category']")[[1]]

## <tag k="railway:station_category" v="2"/>

• Wikipedia Artikel Bahnhofskategorien

Exkurs: Bahnhofskategorien

• rvest: Easily Harvest (Scrape) Web Pages

library(rvest)
bhfkat<-read_html(
  "https://de.wikipedia.org/wiki/Bahnhofskategorie")
df_html_bhfkat<-html_table(
  html_nodes(bhfkat, "table")[[1]],fill = TRUE)

Bahnhofskategorien Übersicht

Nur fliegen ist schöner

url5<-"http://api.openstreetmap.org/api/0.6/way/162149882"
obj5<-xmlParse(url5)
xpathApply(obj5,"//tag[@k = 'name']")[[1]]

## <tag k="name" v="City-Airport Mannheim"/>

xpathApply(obj5,"//tag[@k = 'website']")[[1]]

## <tag k="website" v="http://www.flugplatz-mannheim.de/"/>

xpathApply(obj5,"//tag[@k = 'iata']")[[1]]

## <tag k="iata" v="MHG"/>

OSM Ausschnitte herunterladen

<www.openstreetmap.org/export>

osm export

Mehr Beispiele, wie man mit XML Daten umgeht:

• Deborah Nolan - Extracting data from XML

• Duncan Temple Lang - A Short Introduction to the XML package for R

Noch mehr Informationen

• Web Daten manipulieren

• Tutorial zu xquery

• R und das Web (für Anfänger), Teil II: XML und R

• String Manipulation

• Nutzung, Vor- und Nachteile OSM

• Forschungsprojekte im Zusammenhang mit OpenStreetMap

• XML parsen - Stackoverflow

• Processing of GeoJson data in R

Die Pakete rvest und RCurl

Das Paket rvest

library(rvest)
ht <- read_html('https://www.google.co.in/search?q=guitar+repair+workshop')
links <- ht %>% html_nodes(xpath='//h3/a') %>% html_attr('href')
gsub('/url\\?q=','',sapply(strsplit(links[as.vector(grep('url',links))],split='&'),'[',1))

##  [1] "http://theguitarrepairworkshop.com/"                                                                   
##  [2] "http://www.guitarservices.com/"                                                                        
##  [3] "http://www.guitarrepairbench.com/guitar-building-projects/guitar-workshop/guitar-workshop-project.html"
##  [4] "https://www.facebook.com/The-Guitar-Repair-Workshop-847517635259712/"                                  
##  [5] "https://www.taylorguitars.com/dealer/guitar-repair-workshop-ltd"                                       
##  [6] "http://www.laweekly.com/music/10-best-guitar-repair-shops-in-los-angeles-4647166"                      
##  [7] "https://www.justdial.com/Mumbai/Guitar-Repair-Services/nct-10988623"                                   
##  [8] "https://www.justdial.com/Delhi-NCR/Guitar-Repair-Services/nct-10988623"                                
##  [9] "http://guitarworkshopglasgow.com/pages/repairs-1"                                                      
## [10] "http://www.google.co.in/aclk?sa=l"

Links

• Scraping CRAN with rvest

Webscraping

Notwendige Pakete

install.packages("tidyverse")

library(tidyverse)
library(stringr)
library(forcats)
library(ggmap)
library(rvest)

SCRAPE DATA FROM WIKIPEDIA

html.world_ports <- read_html("https://en.wikipedia.org/wiki/List_of_busiest_container_ports")
df.world_ports <- html_table(html_nodes(html.world_ports, "table")[[2]], fill = TRUE)

Die Daten anschauen

glimpse(df.world_ports)

## Observations: 50
## Variables: 15
## $ Rank     <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16...
## $ Port     <chr> "Shanghai", "Singapore", "Shenzhen", "Ningbo-Zhoushan...
## $ Economy  <chr> "China", "Singapore", "China", "China", "Hong Kong", ...
## $ 2015[1]  <chr> "36,516", "30,922", "24,142", "20,636", "20,073", "19...
## $ 2014[2]  <chr> "35,268", "33,869", "23,798", "19,450", "22,374", "18...
## $ 2013[3]  <chr> "33,617", "32,240", "23,280", "17,351", "22,352", "17...
## $ 2012[4]  <chr> "32,529", "31,649", "22,940", "16,670", "23,117", "17...
## $ 2011[5]  <chr> "31,700", "29,937", "22,570", "14,686", "24,384", "16...
## $ 2010[6]  <chr> "29,069", "28,431", "22,510", "13,144", "23,532", "14...
## $ 2009[7]  <chr> "25,002", "25,866", "18,250", "10,502", "20,983", "11...
## $ 2008[8]  <chr> "27,980", "29,918", "21,414", "11,226", "24,248", "13...
## $ 2007[9]  <chr> "26,150", "27,932", "21,099", "9,349", "23,881", "13,...
## $ 2006[10] <chr> "21,710", "24,792", "18,469", "7,068", "23,539", "12,...
## $ 2005[11] <chr> "18,084", "23,192", "16,197", "5,208", "22,427", "11,...
## $ 2004[12] <chr> "14,557", "21,329", "13,615", "4,006", "21,984", "11,...

Das Paket rvest

library(rvest)
ht <- read_html('https://www.google.co.in/search?q=guitar+repair+workshop')
links <- ht %>% html_nodes(xpath='//h3/a') %>% html_attr('href')
gsub('/url\\?q=','',sapply(strsplit(links[as.vector(grep('url',links))],split='&'),'[',1))

##  [1] "http://theguitarrepairworkshop.com/"                                                                   
##  [2] "http://www.guitarservices.com/"                                                                        
##  [3] "http://www.guitarrepairbench.com/guitar-building-projects/guitar-workshop/guitar-workshop-project.html"
##  [4] "https://www.facebook.com/The-Guitar-Repair-Workshop-847517635259712/"                                  
##  [5] "https://www.taylorguitars.com/dealer/guitar-repair-workshop-ltd"                                       
##  [6] "http://www.laweekly.com/music/10-best-guitar-repair-shops-in-los-angeles-4647166"                      
##  [7] "https://www.justdial.com/Mumbai/Guitar-Repair-Services/nct-10988623"                                   
##  [8] "https://www.justdial.com/Delhi-NCR/Guitar-Repair-Services/nct-10988623"                                
##  [9] "http://guitarworkshopglasgow.com/pages/repairs-1"                                                      
## [10] "http://www.google.co.in/aclk?sa=l"

Links

• How to really do an analysis in R (part 1, data manipulation)

• Read CSV From The Web

• Scraping CRAN with rvest

Use Case - Scraping Wikipedia

Einleitung

Im Folgenden werde ich zeigen, wie man Textinformationen aus Wikipedia herunterladen, verarbeiten und analysieren kann.

install.packages("NLP")
install.packages("tm")
install.packages("FactoMineR")

Die verwendeten Pakete

• Das R-Paket stringi von Marek Gagolewski and Bartek Tartanus bietet Möglichkeiten zur String Verarbeitung.

library("stringi")

• tm ist ein R-Paket um Text Mining zu realisieren. Es wurde von Ingo Feinerer, Kurt Hornik, und David Meyer geschrieben.

library("tm")

• Und schließlich brauchen wir das FactoMineR-Paket, das von Sebastien Le, Julie Josse und Francois Husson zur Durchführung der Hauptkomponentenanalyse erstellt wurde.

library("FactoMineR")

Die Text Daten herunterladen

• Als Beispiel verwenden wir Daten zu verschiedenen Krankheiten.
• In diesem Fall habe ich 7 deutsche Webseiten für Infektionskrankheiten ausgewählt.

wiki <- "http://de.wikipedia.org/wiki/"

titles <- c("Zika-Virus", "Influenza-A-Virus_H1N1", 
            "Spanische_Grippe","Influenzavirus",
            "Vogelgrippe_H5N1",
            "Legionellose-Ausbruch_in_Warstein_2013",
            "Legionellose-Ausbruch_in_Jülich_2014")

Das Herunterladen der Seiten

• Zunächst wird ein Container erstellt um die Ergebnisse abzuspeichern
• Dann wird der Text für jeden Artikel heruntergeladen und in dem Container gespeichert.

articles <- character(length(titles))

for (i in 1:length(titles)){
    articles[i] <- stri_flatten(
      readLines(stri_paste(wiki, titles[i])), col = " ")
}

docs <- Corpus(VectorSource(articles))

Die Daten vorbereiten

Das Folgende basiert auf einem Blogpost von Norbert Ryciak über die automatische Kategorisierung von Wikipedia-Artikeln.

• Eine Fehlermeldung ist aufgetreten, als ich den Code ausgewertet habe.
• Es war möglich, dieses Problem mit Hinweisen aus einer Diskussion auf Stackoverflow zu lösen.

docs2 <- tm_map(docs, function(x) stri_replace_all_regex(
  x, "<.+?>", " "))
docs3 <- tm_map(docs2, function(x) stri_replace_all_fixed(
  x, "\t", " "))

Den Text weiterverarbeiten

docs4 <- tm_map(docs3, PlainTextDocument)
docs5 <- tm_map(docs4, stripWhitespace)
docs6 <- tm_map(docs5, removeWords, stopwords("german"))
docs7 <- tm_map(docs6, removePunctuation)
docs8 <- tm_map(docs7, tolower)
# docs8 <- tm_map(docs8, PlainTextDocument)

dtm <- DocumentTermMatrix(docs8)  

Principal Component Analysis

• Der folgende Code ist auf einem Blog post von Arthur Charpentier über das Mining von Wikipedia basiert.

dtm2 <- as.matrix(dtm)
frequency <- colSums(dtm2)
frequency <- sort(frequency, decreasing=TRUE)
words <- frequency[frequency>20]
s <- dtm2[1,which(colnames(dtm2) %in% names(words))]

for(i in 2:nrow(dtm2)){
  s <- cbind(s,dtm2[i,which(colnames(dtm2) %in% 
                              names(words))])
} 

colnames(s) <- titles

Ergebnis

PCA(s)

## **Results for the Principal Component Analysis (PCA)**
## The analysis was performed on 125 individuals, described by 7 variables
## *The results are available in the following objects:
## 
##    name               description                          
## 1  "$eig"             "eigenvalues"                        
## 2  "$var"             "results for the variables"          
## 3  "$var$coord"       "coord. for the variables"           
## 4  "$var$cor"         "correlations variables - dimensions"
## 5  "$var$cos2"        "cos2 for the variables"             
## 6  "$var$contrib"     "contributions of the variables"     
## 7  "$ind"             "results for the individuals"        
## 8  "$ind$coord"       "coord. for the individuals"         
## 9  "$ind$cos2"        "cos2 for the individuals"           
## 10 "$ind$contrib"     "contributions of the individuals"   
## 11 "$call"            "summary statistics"                 
## 12 "$call$centre"     "mean of the variables"              
## 13 "$call$ecart.type" "standard error of the variables"    
## 14 "$call$row.w"      "weights for the individuals"        
## 15 "$call$col.w"      "weights for the variables"

Ergebnis

• In der Factor Map sehen wir das erwartete Ergebnis.
• Die Seiten zur Legionnellen Krankheit sind sehr nah beianander, während die Seiten zur Influenza in einem anderen Teil sind.

Das Dendogramm

• Im Folgenden wird die Normalisierung durchgeführt und die Ergebnisse werden geplottet.

s0 <- s/apply(s,1,sd)
h <- hclust(dist(t(s0)), method = "ward")

plot(h, labels = titles, sub = "")

• Youtube Video zu Text Mining

Shiny Apps

Der Start

Die erste App

R und Git

Rstudio und git - ein Projekt anlegen

Ein Projekt mit Versionskontrolle

Auswahl Versionskontrolle

Ein Projekt clonen

Der git-Reiter in Rstudio

Aktuelle eigene Änderungen committen

Links

• Commit failed - git shell

• Git cheatsheet

Commands

git commit

git push

http://stackoverflow.com/questions/1125968/force-git-to-overwrite-local-files-on-pull

Problems with disk space

WinDirStat https://support.microsoft.com/de-de/kb/912997 http://www.pcwelt.de/tipps/Update-Dateien-loeschen-8357046.html

Quelle für Pakete

Ein Paket von Github installieren

install.packages("devtools")
library(devtools)
install_github("Japhilko/gosmd")

Datensätze Suchfunktion

Links

• Using github and rstudio

• How do I tell Git for Windows where to find my private RSA key

• Reset local repository branch to be just like remote repository HEAD

• How I Manage Data Analysis Projects with RStudio and Git - Part 1

C++ Integration - Überblick über das Paket rcpp

Warum die Integration von c++

Robert Gentleman, in R Programming for Bioinformatics, 2008, about R’s built-in C interfaces:

Since R is not compiled, in some situations its performance can be substantially improved by writing code in a compiled language. There are also reasons not to write code in other languages, and in particular we caution against premature optimization, prototyping in R is often cost effective. And in our experience very few routines need to be implemented in other languages for effiiency reasons. Another substantial reason not to use an implementation in some other language is increased complexity. The use of another language almost always results in higher maintenance costs and less stability. In addition, any extensions or enhancements of the code will require someone that is proficient in both R and the other language.

• Rcpp does make some of the above caution statements slightly less critical.

Warum und wann?

• Warum? - R wird langsam oder hat Probleme bei der Speicherverwaltung: zum Beispiel bei Schleifen, die nicht vektorisiert werden können.

• Wann? - wenn man es mit Rcode nicht besser hinbekommt und man den langsamen Code identifiziert hat.

Voraussetzung Compiler

Für Windows, Rtools

1. http://cran.r-project.org/bin/windows/Rtools/
2. http://cran.r-project.org/doc/manuals/R-admin.html#The-Windows-toolset

Für Mac, Xcode

3. http://cran.r-project.org/doc/manuals/R-admin.html#Installing-R-under-_0028Mac_0029-OS-X
4. http://cran.r-project.org/doc/manuals/R-admin.html#Mac-OS-X

Was wir nutzen werden

Wir werden die folgenden beiden Pakete nutzen:

• inline und die cfunction um Inline C code zu schreiben, der on-the-fly kompiliert wird (Es gibt auch eine cxxfunction für C++ Code).

• Rcpp, und die Nutzung der Funktion cppFunction

Rcpp

Einleitung

• R ist in C geschrieben
• Die Nutzung der Schnittstelle zu C liegt nahe

Das R-Paket CPP

• R Simulationsmodelle bis zu 20 mal schneller

• Hohe Performanz mit Rcpp

install.packages("Rcpp")

library(Rcpp)
cppFunction('int add(int x, int y, int z) {
  int sum = x + y + z;
  return sum;
}')
# add works like a regular R function
add

add(1, 2, 3)

Rcpp

Tutorial on Rcpp by Hadley Wickham

library(Rcpp)

cppFunction('int add(int x, int y, int z) {
  int sum = x + y + z;
  return sum;
}')

add(1, 2, 3)

Benchmarking

install.packages("microbenchmark")

library(microbenchmark)

• R-bloggers Artikel zu dem Paket microbenchmark

Resourcen

• Youtube Video with Dirk Edelbuettel

• Oliver Heidmann - Programmieren in R - Rcpp

Überblick über Möglichkeiten des Parallel Computings - Paket parallel

Datenbanken und R

Was sind Datenbanken?

• Eine Datenbank, auch Datenbanksystem (DBS) genannt, ist ein System zur elektronischen Datenverwaltung.
• Die wesentliche Aufgabe eines DBS ist es, große Datenmengen effizient, widerspruchsfrei und dauerhaft zu speichern.

Wann sollte man R um Datenbanken ergänzen?

• Wenn ein Datensatz in den Arbeitsspeicher passt, gibt es keinen Grund eine Datenbank zu nutzen.

Man nutzt die Schnittstelle zu Datenbanken,…

• weil die Daten bereits in einer Datenbank vorgehalten werden
• oder weil der Datensatz nicht in den Arbeitsspeicher passt

Die drei großen Open-Source Datenbanken

• sqlite, mysql and postgresql
• für alle drei gibt es Anbindungen in R
• und auf diese Anbindungen soll in der Folge der Fokus liegen

sqlite

• SQLite - Open Source Programmbibliothek mit relationalem Datenbanksystem
• es ist eine schlanke Datenbank

mysql Datenbank

• Grundlage für dynamische Webauftritte
• am meisten verbreitete Datenbanksystem

PostgreSQL

• PostgreSQL ist in den meisten Linux-Distributionen enthalten.
• Schnittstellen zu vielen Programmiersprachen

Vergleich zwischen MySQL und PostgreSQL

Beispiel zu relationalen Datenbanken

Was ist der Unterschied zwischen SQL und NoSQL

• NoSQL steht für not only SQL

• Key-Value-Stores (bspw. CouchDB, MongoDB) und Speicherung unstrukturierter Daten wird durch Schema Evolution ermöglicht

• mit NoSQL lassen sich deutlich gößere Datenmengen händeln

• Horizontale Skalierbarkeit - wichtig bei Daten wie Video, Audio oder Bild-Dateien

• NoSQL-Bewegung ist nicht proprietär an einen Hersteller gebunden

MongoDB

• MongoDB - sehr schnell und einfach installiert und benutzt.
• Schema-freie, dokumentenorientierte NoSQL-Datenbank
• kann Sammlungen von JSON-ähnlichen Dokumenten verwalten

CouchDB

• dokumentenorientierte Datenbank
• zur Interaktion mit CouchDB kann das Paket sofa verwendet werden

Podcast zu CouchDB

Quick-R zur Integration von Datenbanken

SQL lernen…

• …mit W3School

• …mit SQLzoo

• …SQL lernen mit tutorialspoint

• … mit Beispielen von sql tutorial

Weitergehendes Lernen

Weitere Resourcen

• Video um NoSQL zu verstehen

• Datenbanken in R

• Database basics - dplyr and DBI

• Frühe Entwicklung zu Integration von Datenbanken

Das R-Paket dplyr

Das Paket dplyr

install.packages("nycflights13")

library(nycflights13)
dim(flights)

## [1] 336776     19

head(flights)

## # A tibble: 6 × 19
##    year month   day dep_time sched_dep_time dep_delay arr_time
##   <int> <int> <int>    <int>          <int>     <dbl>    <int>
## 1  2013     1     1      517            515         2      830
## 2  2013     1     1      533            529         4      850
## 3  2013     1     1      542            540         2      923
## 4  2013     1     1      544            545        -1     1004
## 5  2013     1     1      554            600        -6      812
## 6  2013     1     1      554            558        -4      740
## # ... with 12 more variables: sched_arr_time <int>, arr_delay <dbl>,
## #   carrier <chr>, flight <int>, tailnum <chr>, origin <chr>, dest <chr>,
## #   air_time <dbl>, distance <dbl>, hour <dbl>, minute <dbl>,
## #   time_hour <dttm>

Die Reihen filtern mit filter()

library(dplyr)
head(filter(flights, month == 1,day==1))

## # A tibble: 6 × 19
##    year month   day dep_time sched_dep_time dep_delay arr_time
##   <int> <int> <int>    <int>          <int>     <dbl>    <int>
## 1  2013     1     1      517            515         2      830
## 2  2013     1     1      533            529         4      850
## 3  2013     1     1      542            540         2      923
## 4  2013     1     1      544            545        -1     1004
## 5  2013     1     1      554            600        -6      812
## 6  2013     1     1      554            558        -4      740
## # ... with 12 more variables: sched_arr_time <int>, arr_delay <dbl>,
## #   carrier <chr>, flight <int>, tailnum <chr>, origin <chr>, dest <chr>,
## #   air_time <dbl>, distance <dbl>, hour <dbl>, minute <dbl>,
## #   time_hour <dttm>

Erste Schritte mit dplyr

install.packages("downloader")

library(downloader)
url <- "https://raw.githubusercontent.com/genomicsclass/dagdata/master/inst/extdata/msleep_ggplot2.csv"
filename <- "msleep_ggplot2.csv"
if (!file.exists(filename)) download(url,filename)
msleep <- read.csv("msleep_ggplot2.csv")
head(msleep)

##                         name      genus  vore        order conservation
## 1                    Cheetah   Acinonyx carni    Carnivora           lc
## 2                 Owl monkey      Aotus  omni     Primates         <NA>
## 3            Mountain beaver Aplodontia herbi     Rodentia           nt
## 4 Greater short-tailed shrew    Blarina  omni Soricomorpha           lc
## 5                        Cow        Bos herbi Artiodactyla domesticated
## 6           Three-toed sloth   Bradypus herbi       Pilosa         <NA>
##   sleep_total sleep_rem sleep_cycle awake brainwt  bodywt
## 1        12.1        NA          NA  11.9      NA  50.000
## 2        17.0       1.8          NA   7.0 0.01550   0.480
## 3        14.4       2.4          NA   9.6      NA   1.350
## 4        14.9       2.3   0.1333333   9.1 0.00029   0.019
## 5         4.0       0.7   0.6666667  20.0 0.42300 600.000
## 6        14.4       2.2   0.7666667   9.6      NA   3.850

sleepData <- select(msleep, name, sleep_total)
head(sleepData)

##                         name sleep_total
## 1                    Cheetah        12.1
## 2                 Owl monkey        17.0
## 3            Mountain beaver        14.4
## 4 Greater short-tailed shrew        14.9
## 5                        Cow         4.0
## 6           Three-toed sloth        14.4

Integration von PostgreSQL mit dem Paket

RPostgreSQL

PostgreSQL

PostgreSQL

• PostgreSQL

PostgreSQL installieren

• Installation Windows
• Installation Linux

PG admin installieren

• PGadmin
• Tutorial zur Nutzung von PGadmin

Wie bekomme ich Daten in die Datenbank

# install.packages("RPostgreSQL")
library("RPostgreSQL")

Geodaten in die Datenbank migrieren

• Nutzung von osm2pgsql

sudo -u postgres createuser Japhilko
sudo -u postgres createdb -E UTF8 -O Japhilko offlgeoc

Die postgis Erweiterung muss für die Datenbank installiert werden:

CREATE EXTENSION postgis;

Programm zum Import der OSM Daten in PostgreSQL- osm2pgsql

• Läuft unter Linux deutlich besser
• so könnte bspw. ein Import in PostgreSQL aussehen:

osm2pgsql -c -d osmBerlin --slim -C  -k  berlin-latest.osm.pbf

Erweiterung hstore

CREATE EXTENSION hstore;

osm2pgsql -s -U postgres -d offlgeoc /home/kolb/Forschung/osmData/data/saarland-latest.osm.pbf 

Datenbank für Geocoding

sudo -u postgres createdb -E UTF8 -O Japhilko offlgeocRLP

CREATE EXTENSION postgis;

osm2pgsql -s -U postgres -d offlgeocRLP -o gazetteer /home/kolb/Forschung/osmData/data/rheinland-pfalz-latest.osm.pbf 

So bekommt man alle administrativen Grenzen:

SELECT name FROM planet_osm_polygon WHERE boundary='administrative'

Zurück zu R

pw <- {"1234"}
drv <- dbDriver("PostgreSQL")
con <- dbConnect(drv, dbname = "offlgeocRLP",
                 host = "localhost", port = 5432,
                 user = "postgres", password = pw)
rm(pw) # removes the password

dbExistsTable(con, "planet_osm_polygon")

• Select more than one column

df_postgres <- dbGetQuery(con, "SELECT name, admin_level FROM planet_osm_polygon WHERE boundary='administrative'")

barplot(table(df_postgres[,2]),col="royalblue")

df_adm8 <- dbGetQuery(con, "SELECT name, admin_level FROM planet_osm_polygon WHERE boundary='administrative' AND admin_level='8'")

library(knitr)
# kable(head(df_adm8))

df_hnr <- dbGetQuery(con, "SELECT * FROM planet_osm_line, planet_osm_point 
WHERE planet_osm_line.name='Nordring' AND planet_osm_line.highway IN ('motorway','trunk','primary')
AND planet_osm_point.name='Ludwigshafen' AND planet_osm_point.place IN ('city', 'town')
ORDER BY ST_Distance(planet_osm_line.way, planet_osm_point.way)")

df_hnr <- dbGetQuery(con, "SELECT * FROM planet_osm_line, planet_osm_point 
WHERE planet_osm_line.name='Nordring' AND planet_osm_point.name='Ludwigshafen' 
ORDER BY ST_Distance(planet_osm_line.way, planet_osm_point.way)")
head(df_hnr)

df_ <- dbGetQuery(con, "SELECT * FROM planet_osm_line, planet_osm_point 
WHERE planet_osm_line.name='Nordring' AND planet_osm_point.name='Ludwigshafen' 
ORDER BY ST_Distance(planet_osm_line.way, planet_osm_point.way)")
head(df_hnr)

colnames(df_)

table(df_$name)

Adresse in einem Ort

df_sipp <- dbGetQuery(con, "SELECT * FROM planet_osm_line, planet_osm_point 
WHERE planet_osm_line.name='Rechweg' AND planet_osm_point.name='Sippersfeld' 
ORDER BY ST_Distance(planet_osm_line.way, planet_osm_point.way)")
head(df_sipp)

OpenStreetMap und Open Government Data in PostGIS

• Der Anfang mit PostGIS
• PostGIS und R

restnam <- dbGetQuery(con, "SELECT name, COUNT(osm_id) AS anzahl
FROM planet_osm_point
WHERE amenity = 'restaurant'
  AND name <> ''
GROUP BY name
ORDER BY anzahl DESC
LIMIT 10")
head(restnam)

PostgreSQL and Leaflet

install.packages("plot3D")

library(plot3D)
library(RPostgreSQL)

Links

• osm2pgsql

• Andrew Whitby - Roll-your-own geocoding with OpenStreetMap Nominatim on Amazon EC2

• OpenStreetMap Nominatim Server for Geocoding

• Getting Started With PostGIS

• PostGIS geocode

• Nominatim installation

• Wie bekommt man OSM Daten

RMySQL

install.packages("RMySQL")

Nutzung von weiteren Datenbanken (MongoDB, MySQL)

Mongodb

• Installation

Hello World

• Getting started with MongoDB in R

install.packages("mongolite")

library(mongolite)
m <- mongo(collection = "diamonds")

CouchDB

• Installation von CouchDB auf Windows
• zur Interaktion mit CouchDB kann das Paket sofa verwendet werden
• CouchDB und OpenStreetMap

install.packages("jsonlite")
devtools::install_github("ropensci/sofa")

library("sofa")

Spark

• Warum Spark mit NoSQL kombinieren

• Spark in Rstudio ## Links

• Eine Liste aller NoSQL Datenbanken